Mikhail Gromov sinh ngày 23 tháng 12 năm 1943 tại Boksitogorsk, Liên Xô. Cha ông Leonid Gromov và người mẹ Do Thái Lea Rabinovitz là những nhà khoa học (nghiên cứu về bệnh lý). Mẹ ông là chị họ của kỳ thủ Mikhail Botvinnik và nhà toán học Isaak Moiseevich Rabinovich. Gromov sinh ra giữa chiến tranh thế giới thứ II và mẹ ông, một bác sĩ trong quân đội Xô viết đã phải rời tiền tuyến để sinh ra ông. Năm Gromov 9 tuổi, mẹ ông đưa cho ông cuốn sách "The Enjoyment of Mathematics" của Hans Rademacher và Otto Toeplitz, một cuốn sách đã khơi dậy sự tò mò và có một ảnh hưởng lớn đến ông.

Ông học toán tại đại học Leningrad và nhận bằng thạc sĩ (master's degree) năm 1965, bằng tiến sĩ (PhD) năm 1969 và bảo vệ luận án sau tiến sĩ (postdoctoral) năm 1963. Thầy hướng dẫn của ông là Vladimir Rokhlin.

Gromov lập gia đình năm 1967. Năm 1970, ông được mời báo cáo (invited speaker) tại đại hội toán học thế giới (ICM) được tổ chức ở Nice. Tuy nhiên, ông không được phép rời Liên Xô. Mặc dù vậy bài giảng của ông vẫn được trình bày tại đại hội.

Do bất động với hệ thống Xô viết, ông đã nghĩ đến việc di cư từ năm 14 tuổi. Vào những năm 70, ông ngừng công bố các bài báo khoa học của mình với hy vọng sẽ giúp ông được chuyển đến Israel. Ông đổi họ qua họ mẹ. Năm 1974, khi yêu cầu được chấp nhập, ông chuyển ngay tới New York, nơi một ví trí chính thức đang chờ ông tại đại học Stony Brook.

Năm 1981, Gromov rời đại học Stony Brook và chuyển đến đại học Paris VI. Năm 1982, ông trở thành giáo sư của viện toán IHES và tiếp tục làm việc cho đến ngày nay. Ngoài ra, ông cũng giữ chức giáo sư tại đại học Maryland từ năm 1961 đến 1996 và viện toán Courant từ năm 1996. Ông nhập quốc tịch Pháp năm 1992.